Lý Bí chào đời năm 722, tức năm thứ 10 Khai Nguyên đời vua Đường Minh Hoàng. Gia đình ông cư ngụ tại kinh đô Trường An[2], song tổ tiên của ông xuất xứ từ bán đảo Liêu Đông. Thủy tổ Lý Đàm là tướng nước Tần thời Chiến Quốc (và sau đó là nhà Tần). Con của Lý Đàm là Lý Tề, sau làm Thừa tướng nước Triệu. Gia tộc họ Lý nhiều đời xuất sĩ làm quan trong các triều đại nhà Hán, nhà Tấn, Hậu Yên, Bắc Ngụy và Bắc Chu. Đến đời phụ thân của Lý Bí tên là Lý Thừa Hưu chỉ giữ chức quan ở huyện.[3]

Sử sách ghi nhận rằng Lý Bí biết đọc, viết từ năm lên 6 và nhanh chóng nổi tiếng trên chốn quan trường bởi tính thông minh và khéo léo của mình trong các vấn đề bác học (bác thiệp kinh sử， tinh cứu dịch tượng, thiện chúc văn, vưu công ư thi, dĩ vương tá tự phụ). Vào một năm nọ, khi Đường Minh Hoàng ra chiếu kén chọn trên khắp cả nước những người thông thạo về Đạo Nho, đạo Lão và đạo Phật, các quan lại đều có thể tiến cử những người mà họ biết lên Hoàng đế. Có đứa bé mới lên 9 tên là Viên Thục (員俶), cháu nội của một học giả nổi tiếng Viên Bán Thiên (員半千), đồng thời là anh em con cô cậu với Lý Bí (mẹ của Viên Thục là chị của Lý Thừa Hưu), đã tự tiến cử mình với nhà vua. Khi nhà vua hỏi Viên Thục có còn biết ai khác cũng có biệt tài giống mình không, Viên Thục đã đề cử Lý Bí. Vì thế Minh Hoàng triệu Lý Bí vào cung diện thánh. Khi Lý Bí đến, nhà vua đang chơi cờ vây với quan đại thần là Yến quốc công Trương Thuyết, và Trương Thuyết đang tìm cách thử tài cậu bé Lý Bí, đã ra một vế đối, vịnh về việc đánh cờ, lấy 4 chữ đầu đề là "Phương", "Viên", "Động", "Tĩnh" và yêu cầu Lý Bí vịnh một bài thơ về chuyện đời để đối lại. Lý Bí sau đó đã hoàn thành xuất sắc thử thách này, khiến nhà vua và Trương Thuyết đều tỏ ra rất thích thú, và Trương Duyệt chúc mừng nhà vua đã tìm ra một đứa bé thần đồng. Nhà vua sau đó ban thưởng hậu hĩnh cho nhà họ Lý và căn dặn phải nuôi dưỡng cậu bé thật tốt.[4] Nhà vua cũng cho Lý Bí giao thiệp với Hoàng tử thứ 3 của mình, là Trung vương Lý Hanh.[5]

Sau này Lý Bí được học rất nhiều các tác phẩm của giới Nho giáo cũng như môn lịch sử, nhưng ông đặc biệt có năng khiếu với kinh Dich. Ông cũng là một nhà thơ tài năng, và ấp ủ hi vọng được cống hiến cho hoàng gia và đất nước. Rất nhiều đại thần cao cấp như Trương Cửu Linh, Vi Hư Tâm, Trương Đình Khuê đều đánh giá cao cậu bé Lý Bí.[6] Đặc biệt là tể tướng Trương Cửu Linh đã coi Lý Bí như bạn bè bất chấp chênh lệch về tuổi tác, và còn thường mời Lý Bí đến nhà đàm đạo. Tuy nhiên Lý Bí không hào hứng mấy với những ganh đua trong chốn quan trường, và thế khi trưởng thành ông thường bỏ nhà đi ngao du đến các nơi như Tung Sơn, Hoa Sơn hay núi Tần Lĩnh, nói là tìm kiếm tiên nhân để học cái thuật trường sinh bất t.[4] Giữa niên hiệu Thiên Bảo đời Đường Minh Hoàng (742–756), Lý Bí đang ở Tung Sơn, đã gửi về triều bản một tấu chương về các vấn đề hiện tại của đất nước. Đường Minh Hoàng nhớ lại cậu bé mà ông từng gặp nhiều năm trước, và do đó đã triệu Lý Bí về Trường An đã giúp đỡ cho Lý Hanh, lúc này đã được phong làm Đông cung Thái tử.[6] Tuy nhiên, sau này Lý Bí viết những bài thơ châm biếm các gian thần trong triều bấy giờ là Dương Quốc Trung và An Lộc Sơn, nên bị bọn họ tìm cớ hãm hại. Dương Quốc Trung sau khi lên làm tể tướng đã biếm truất Lý Bí đến quận Kỳ Xuân [7].[4] Sau này triều đình có lệnh ân xá, Lý Bí mới trở về Trường An nhưng bị lột sạch quan chức và trở thành một ẩn sĩ, rồi dời đến sống ở Dĩnh Dương[8].[5]